FOCUS：面向长程语言模型智能体的主动 Critic 学习
🧭 长程 Agent 强化学习 · 主动 Critic 学习 ★ 深度解读
Johns Hopkins University
把中途状态价值细化建模为主动学习：优先在预期最大减小 Critic 估计误差的状态分支采样，并用压缩边界做长程信用分配
📌 工作参考价值（4 点）
- 在电商/搜索的 multi-step Agent（如导购助手、商品搜索 agent、售后 agent）做 RLVR 时，可以把 context compaction / 工具调用边界作为可恢复状态，计算 segment 级 TD advantage 而不是轨迹级 group advantage；能缓解 GRPO 训练后期“草率 submit/提前结束”的 collapse。
- 如果已有 critic/value model，可借鉴 FOCUS 的主动采样公式：用 expected error reduction g(c)=[2κ²b̂e²+(N−κ)σ̂²]/(κ+N)³ 选择从哪些中间状态继续 rollout，避免均匀分支浪费 token；工程上可先在小规模 offline 诊断里验证 critic MSE 与 random/residual 的差距。
- 把 critic 预测当作 pseudo-observation 与 rollout 均值按 κ/(κ+n) 融合，递归 bottom-up 备份；这种轻量 Bayesian blending 比直接用 MC 均值或 raw critic 更稳，适合预算受限的在线分配。
- 模块化把 rollout allocator、context manager、credit assignment 解耦，便于替换 compaction 协议（in-context vs memory workspace）而不影响训练主流程；业务中可先接入现有 session 摘要/记忆模块。
马拉松者：超长程自主智能体
🧭 超长程自主编码 Agent 后训练 ★ 深度解读
University of Macau · Peking University · Ant Group
从 GitHub PR 自动合成任务、拒绝采样蒸馏与 GRPO+后期奖励，让 9B 开源模型具备 10+ 小时执行能力
📌 工作参考价值（4 点）
- 任务数据合成：从业务系统（推荐服务代码库、数据管道、广告投放平台）的 commit/PR 自动构造带单元测试验证的长程 Agent 任务；电商搜索推荐团队可基于历史工单、A/B 实验变更生成环境+指令+验收测试三元组，低成本扩充训练数据。
- 后期阶段奖励：在对话式推荐/导购 Agent 中用 LLM 判断会话后半段是否有高价值动作（如用户改变偏好后的有效重新推荐、复杂比价后的正确总结），给予额外奖励，防止模型在长交互中过早收尾或重复无效询问。
- 多样 harness 训练避免过拟合：针对 Agent 可能接入的不同执行环境（推荐 API、页面布局、工具集），在 RL 训练时轮换多种 harness，可提高跨场景泛化，与多环境交互评分/模拟器训练思路一致。
- 拒绝采样蒸馏：先用闭源大模型在真实任务上生成成功轨迹，仅保留 reward=1 样本对开源小模型做 SFT 初始化，再进入 RL 微调；适用于电商客服、导购 Agent 等需要长程规划的场景，降低对高质量标注轨迹的依赖。
LongHorizon-Harness：将长期执行重构为任务状态管理问题，大幅提升长程代理性能
🧭 长期任务代理 · 任务状态管理 ★ 深度解读
DreamX Team, Alibaba Group
通过管理-执行-审计（MEA）循环显式维护任务状态并独立审计，在 WeaveBench 上将完成率从 51.8% 提升至 80.7%
📌 工作参考价值（4 点）
- 在电商搜索/推荐的多步代理任务（如复杂购物助手、多轮商品对比）中，可引入 MEA 架构：经理根据用户意图分解子任务，执行器在干净上下文中完成（如检索、对比），审计员独立验证执行结果，防止错误累积导致后续决策偏离。
- 显式任务状态与执行上下文分离的技巧，能有效避免长对话/操作历史带来的上下文遗忘问题，适合需要维护用户画像、购物车等中间状态的对话式推荐代理。
- 独立审计机制可应用于广告投放优化、商品批量上架等需多步验证的业务流程，确保每一步操作结果符合预期后才更新全局状态，提升流程可靠性。
- AgentAdapter 的设计表明可以通过轻量适配层统一接入不同的 LLM 或工具后端，便于在生产中灵活切换模型和底层执行引擎。
长周期终端基准：密集奖励检验长任务智能体极限
🧭 长程终端智能体评估 · 密集奖励
Tencent HY LLM Frontier · University of Maryland, College Park · University of Georgia · Indiana University · Lehigh University
提出长周期终端基准LHTB，细粒度子任务与密集奖励评估智能体长程能力，最强模型仅15.2% pass@1
📌 工作参考价值（4 点）
- 子任务分解与密集奖励：在构建多步自动化 Agent（如广告优化、商品文案测试）时，可借鉴将复杂任务拆解为可评分的子任务，设计中间奖励信号，支持逐步改进和部分成功。
- 长上下文与记忆管理：任务平均消耗9.9M tokens，提示在实际Agent中需要处理超长上下文，可引入检索增强（RAG）或层次化记忆，避免关键信息遗忘。
- 迭代调试与容错机制：论文发现Agent失败多因环境错误和调试不足，业务系统应加入自动重试、错误恢复和环境状态检查，提升长流程稳定性。
- 过程性评估：从只看最终结果转向细粒度过程评估，帮助定位Agent瓶颈，适合用于评估复杂推荐或运营Agent的中间决策质量。
SAM: 面向长程推理智能体的状态自适应记忆
🧭 长程推理 Agent 记忆管理 · 状态自适应记忆 ★ 深度解读
GSAI, Renmin University of China · Beijing Academy of Artificial Intelligence
提出状态自适应记忆框架 SAM，通过记忆线索与意图驱动回忆让智能体从长历史中重建决策支撑信息，无需重训练骨干模型
📌 工作参考价值（4 点）
- 独立的记忆模块与主干解耦：记忆模型独立训练、跨主干复用，适合在已有电商对话/推荐 Agent 上植入长程记忆，避免改造主干模型。
- 分页存储 + 轻量线索：将冗长的交互历史分页并压缩为 compact cues，仅保留线索在上下文，释放 context window；可借鉴到多轮对话或搜索推荐场景的长序列管理中。
- 意图驱动的按需回忆：只有在需要时才根据当前状态选择线索召回原始页面并重建所需信息，比一把摘要或窗口截断更精准，适合电商场景中先分散探索、后期需综合早前信息的任务。
- OAT-GRPO 训练范式：将记忆调用建模为树结构，用专家委员会评估可恢复性并奖励下游任务成功，为训练独立的记忆模块提供了一种闭环方案，可迁移到需要优化长期决策质量的 Agent 训练中。